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摘 要 : 针对 大 多 数 高 维 数据 之 间 不 仅 有 相似 性 ， 而 且 还 有 非 线性 关系 等 特点 ， 提 出 一 种 基于 局 部 结构 学 习 的 非 线 
性 属性 选择 算法 。 oo 维 空间 , 在 高 维 空间 中 表示 出 数据 属性 之 间 的 非 线 性 关系 ; 
然后 在 低 维 空间 中 通过 结构 学 习 来 充分 挖 据 属 性 之 间 的 相似 性 ， 同 时 Ne 的 干扰 ; 最 后 通 
过 稀疏 正则 arene E, SMA AR UB ACIER EZ RIEKA, AAEE SL ARA EB E 
ZA. BHAR—MPKAT MBM SDMA REAL A. KARA, BHAM EAH ie 
算法 ， 有 更 好 的 效果 。 
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Nonlinear feature selection algorithm via local structure learning 


Li Jiayet, Zhang Leyuan, Lei Cong, Gan Jiangzhang, Lyu Zhizheng 
(Guangxi Key Lab of Multi-source Information Mining & Security, Guangxi Normal University, Guilin Guangxi 541004, 
China) 


Abstract: Due to that most high-dimensional data not only has the similarities, but also nonlinear relationships. This paper 
proposed a nonlinear feature selection algorithm based on local structure learning. Firstly, the algorithm mapped the data to 
high-dimensional space through kernel functions, and expresses the nonlinear relationship between data features in 
high-dimensional space. Then, it exploited the similarity between the features in the low-dimensional space through local 
structural learning. At the same time, it eliminated the interference of noise by the low-rank constraint. Finally, it selected 
features by sparse regularization factors. It find the non-linear relationships between data features by the kernel function, 
and find the similarities between the data attributes as the local structure learning. The algorithm is a nonlinear feature 
selection algorithm embedded with local structure learning. Experimental results show that the algorithm has better results 
than other comparison algorithms. 
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引言 性 映射 到 高 维 空间 ， 从 而 使 它们 之 间 的 非 线 性 关系 在 高 维 空 
间 中 线性 可 分 ， 与 此 同时 再 把 局 部 结构 学 习 运 用 到 数据 属性 
随 着 计算 机 与 科学 技术 的 发 展 ， 信 息 时 代 来 临 ， 与 此 同 上 ， 从 而 更 好 的 表示 出 数据 属性 在 低 维 空间 中 的 局 部 结构 关 

时 带 来 了 大 量 的 高 维 数据 趾 。 人 工 智 能 ， 数 据 挖掘 等 领域 也 系 。 提 出 了 一 种 更 加 有 效 的 属性 选择 算法 ， 称 作 基 于 局 部 结 
蓬勃 发 展 。 人 们 面 对 成 千 上 万 的 数据 处 理 起 来 会 1 E 构 学 习 的 非 线 性 属性 选择 算法 (nonlinear feature selection 
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而 且 有 时 还 会 出 现 “ 维 数 灾 难 ” 等 问题 3。 针 对 这 些 高 维 数 algorithm via local structure learning, 434) LS_NFS) 。 

据 ， 人 们 必须 对 其 进行 预 处 理 。 而 属性 选择 便 是 其 中 一 种 十 本 文 首 先 通过 核 函 数 对 数据 处 理 ， 得 到 核 矩 阵 ， 从 而 解 

分 有 效 的 方式 由 。 通 过 属性 选择 来 对 数据 进行 预 处 理 从 而 缩 决 了 只 能 进行 线性 属性 选择 的 限制 ， 其 次 对 数据 属性 构建 相 

小 数据 维度 是 十 分 必要 的 局。 似 窍 阵 来 进行 局 部 结构 学 习 ， 可 以 提高 分 类 准确 率 ; 其 中 还 
属性 选择 中 包括 线性 属性 选择 和 非 线 性 属性 选择 ， 它 们 在 模型 中 进行 了 低 秩 约束 ， 低 秩 约 束 可 以 排除 噪声 的 干扰 ; 


的 根本 目的 都 是 寻找 一 个 相对 较 小 且 具 有 代表 性 的 属性 子 ”最 后 嵌入 一 个 向 量 的 4- 范 数 来 进行 属性 选择 。 由 于 本 文 同 
集 。 常 用 的 属性 选择 方法 有 很 多 四， 但 它们 都 不 能 挖 气 出 数 ”时 考虑 了 数据 属性 之 间 的 非 线性 关系 和 相似 性 ， 所 以 比 单一 
据 属 性 之 间 的 非 线 性 关系 。 局 冲 VERA GI RD 台 是 运用 到 样 ” ”的 线性 属性 选择 方法 具有 更 好 的 效果 。 经 实验 验证 ， 该 算法 
本 上 ， 通 过 构建 样本 之 间 的 相似 矩阵 来 充分 体现 样本 之 间 的 ”在 分 类 准确 率 上 能 达到 较 好 的 效果 。 
结构 由， 从 而 达到 较 好 的 实验 效果 。 但 它 不 能 充分 体现 
之 间 的 结构 关系 。 为 此 ， 本 文通 过 核 函数 把 数据 的 每 一 个 属 
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1 ”相关 理论 背景 


1.1 


核 函 数 


核 函 


入 在 一 定 程度 上 减轻 


要 一 个 对 


TE 


FAEH, F: 基于 局 部 结构 学 习 的 非 线性 属性 选择 算法 


数 在 很 早 以 


前 就 被 引入 到 了 机 器 学 习 领 域 ， 
了 “ 维 数 灾难 ”"， 大 大 减 小 了 计算 量 。 


函数 在 任 


意 数据 集 上 产 委 


的 核 矩 阵 是 半 正 定 


高 维 空间 


变 各 种 核 函数 


那么 这 个 
通过 选取 不 


函数 就 是 核 
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可 以 改变 从 低级 


的 映射 ， 进 


的 性 能 。 


56] 


的 核 
函数 、 样 条 核 函 


函数 
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[LZ 


数 等 。 


大 多 数 情况 下 都 


数 。 即 


FLA; 


N 


Xi 


k(x,, 


度 参数 ， 


它 控 制 了 函数 


有 良好 的 1 


分 别 表示 第 i 和 第 


PY 
J In]7 
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x;) =exp(— 


能 ， 所 以 本 文 算法 


Ix; x; : 


20° 2 


j 个 必 


它 的 引 


mj 
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E 定 的 ， 
函数 。 它 的 形式 和 参数 是 多 种 多 样 的 ， 
的 核 函 数 形式 和 参数 ， 
而 对 高 维 


空间 到 
空间 的 性 质 产生 影响 ， 最 终 改 


函数 、 多 项 式 核 函数 、 感 知 器 核 
核 函 数 相 比 其 他 三 种 核 函 数 


J TAY 斯 核 PRY 
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Py 
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因此 ， 本 文通 过 利 


高 斯 核 函 


间 ， 进 
1.2 
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HU 


局 部 结构 学 
前 人 


充分 挖掘 数据 


已 经 证 明 


习 简介 


通过 建立 数据 之 间 的 局 部 结构 可 以 起 到 降 


维 的 作用 


的 相似 条 
EI HE FEAR 
数 和 属性 数 。 通 过 


中 : x 


J YU, FB 


9 , Al 
阵 来 进行 


此 本 文通 过 在 低 维 
局 部 结构 学 习 。 


XeR™ , Krp n 和 4 分 别 表示 样本 


T 


间 中 建立 数据 属 


把 数据 属性 映射 到 核 
m rZ TRIBU EZ TES AR e 


性 之 间 


斯 核 的 宽 


构 学 习 和 低 维 
结果 。 


性 。 
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AREE WIA T 


空 


局 部 结构 学 习 得 到 下 面 的 式 子 : 
min)" |x"W —x/W] si (2) 
i 个 属性 ，W eR™ 是 一 个 高 维 数据 在 低 


en 表示 第 


间 中 的 转换 矩阵 ，sy 


是 矩阵 


S 的 一 个 元 素 ， 表示 属性 x; 
属性 x) KAATE. hr E b x AE EE =) 的 第 天 个 最 近 的 邻 


min 
S.W.a 


X- Yakow 
i=l 
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于 相似 矩阵 S 受 参数 o 的 影响 变化 特别 大 。 为 了 减少 


(5) 


同时 学 习 到 更 有 效 的 相似 和 矩阵， 本 文 把 结 


min 
SW,a 


空间 学 习 相互 交 蔡 进行 ， 从 而 达到 
体 得 到 如 下 式 子 : 


X- Yakow 
isl 


st., Vi, si 1 =1,s,, =0, 5,2 0.if j € N(i), otherwise 0 


: As Ay Fe Wil 


邻 


y 


居 组 成 上 


优 参数 ，* 是 相似 外 


用 来 保持 旋转 不 变 1 
第 i SPER 


=, 
FE 


E s 


2 
d 2 
+4 MEA = x, Wl. 5, +”, lis. 
F 


NG) 


上 它们 最 优 的 


(6) 


ERES RISS EU. ls BE 


E. 1 代表 元 素 全 为 1 的 向 
JES, 


代表 


s 1T=1 是 为 了 保持 旋转 不 变 


Dub. EX 


为 了 排 


FA AeR™, BeR™, 
正 交 限制 , 去 充分 考虑 输出 变量 之 间 的 相关 性 , 再 加 入 
H3 1 - 范 数 来 进行 稀疏 学 习 和 属性 


W = AB 


r<min(n,d) , 


同时 本 文 对 矩阵 4 进行 


it 可 以 使 距离 越 近 的 属性 对 应 的 %， 值 越 大 ， 
距离 越 远 的 属性 对 应 的 5, 值 越 小 。 
除 离 群 点 的 干扰 ， 同 时 去 除 噪声 村 
氏 秩 约束 03， 即 


lL 本 (4。 本 文 对 


(7) 


^a 


选择 。 最 后 得 到 最 终 的 


标 函 数 如 下 : 

amin |X -Y'aK"AB | +42, ISI 4B-x AB[ 5, 

+4, sib +4 lal; (8) 

st, Vi,s/ 1 -Ls,;-0, 

Sj > 0,if j e N(i),otherwise 0,ATA=I 
其 中 : ATA=TER™, AY Ay AMDB. PRE K 是 
通过 高 斯 核 函 数 计算 出 来 , 主要 作用 是 把 数据 映射 到 核 空间 ， 
从 而 挖掘 数据 属性 之 间 的 非 线 性 关系 。 最 后 一 项 “的 4- d 
是 对 “进行 稀疏 ， 从 而 来 进行 属性 选择 。x 向 量 对 应 的 元 素 


E W sj 的 值 通过 高 斯 核 函数 式 〈1) 可 得 ; 其 他 情况 % =0。 ”的 值 为 零 ， 则 表示 该 属性 不 选 。 
ct sop gdh ss pr pts 本 文 提 出 的 算法 具有 以 下 优点 : 
2 ”算法 描述 和 优化 a) 由 于 一 般 的 属性 选择 算法 只 能 寻找 出 数据 属性 之 间 的 
2.1 算法 描述 线性 关系 ， 并 不 能 发 现 数据 属性 之 间 的 非 线性 关系 。 因 此 本 
本 文 首先 把 数据 集 XeR™ 拆 成 4 个 列 向 量 ， 每 个 向 量 ”算法 把 数据 矩阵 的 每 一 个 属性 通过 核 函数 分 别 映射 为 一 个 核 
xeR",i-l.d ; 然后 把 每 个 中 的 每 个 元 素 看 成 一 个 独立 。 和 矩阵， 从 而 在 核 空间 中 充分 挖掘 数据 属性 之 间 的 复杂 非 线 性 
HRPE © Rilo 并 将 它们 投影 到 核 空 间 就 得 到 核 矩 ”关系 。 进 而 对 数据 属性 之 间 的 关系 挖掘 的 更 加 彻底 。 
阵 Ko er, Bl bo 不 同 于 普通 的 局 部 结构 学 习 , 只 是 针对 样本 计算 出 一 
kQu.x,) Kye Xa) c Kx) 个 样本 之 间 相 似 关 系 的 最 优 结果 ,而 本 算法 是 针对 数据 属性 ， 
po =| Fiat) Ks Xa) rn KG) 3) 同时 把 相似 矩阵 学 习 和 低 维 空间 学 习 相 互 交 蔡 进 行 ， 从 而 达 
U MM ER 到 最 优 的 属性 选择 效果 。 
Enea) Kna) Bar Fin) c) 低 秩 约束 可 以 明显 的 减少 计算 量 , 同时 低 秩 表征 着 数 
这 样 原始 的 eR™ 就 变 成 了 4 个 核算 阵 K",i=L.…,d o 据 的 元 余 程 度 。 噪 声 样本 会 使 系数 矩阵 的 秩 增加 ， 使 用 低 秩 
无 监督 的 属性 选择 算法 是 为 了 挖掘 数据 中 更 具有 代表 性 。 ”约束 可 以 降低 噪声 的 干扰 ， 同 时 低 秩 是 对 数据 全 局 结构 的 考 
的 属性 。 在 没有 类 标签 了 的 情况 下 ， 用 数据 矩阵 耳 作 为 一 个 ” 虑 。 从 而 提高 算法 的 运行 效率 和 分 类 准确 率 。 
响应 和 矩阵， 可 以 更 好 的 保持 数据 原始 特征 的 内 部 结构 已 ' 站。 LS NFS 算法 (算法 1) 伪 代 码 如 下 。 
为 了 充分 挖掘 数据 属性 的 非 线性 关系 。 得 到 下 面 式 子 : 输入 : 训练 样本 x egt, WEISE Ab: 
x-Yakw (4) pode au 
z a) 通过 训练 样本 得 出 类 指示 矩阵 ; 
Hip: Wen" RNR BOER; ae R™ 用 来 进行 属性 选择 ， b) 通过 式 (D) 和 (3) 建 立 每 个 数据 属性 对 应 的 核 矩阵 KO ; 
相当 于 属性 的 权重 向 量 ; 4 对 应 于 向 量 4 的 一 个 元 素 ; c) 通过 式 (6) 建 立 数据 属性 之 间 的 结构 相似 矩阵 S s 
K eR™ 是 核 矩 阵 。 d) 依据 所 选择 的 模型 调用 算法 3 求解 全 局 最 优 解 , 得 到 
为 了 使 下 取得 更 好 的 拟 合 效果 ， 同 时 考虑 数据 属性 之 间 ”属性 选择 向 量 4; 
在 低 维 空间 上 的 结构 关系 ， 本 文 得 到 如 下 式 子 : e) 利用 最 优 解 对 原始 属性 集 X 进行 属性 选择 后 得 到 
的 属性 集 作为 样本 新 的 属性 集 ; 
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f) 对 新 的 属性 集 构 成 的 样本 采用 SVM 分 类 。 
2.2 算法 优化 
于 目标 函数 不 是 共 上 是 的， 所 以 无 法 直接 得 到 闭 式 解 。 
忆 此 本 文 提出 一 种 交 蔡 和 帮 代 优化 方法 来 求解 该 问题 ， 有 具体 分 
以 下 四 步 : 

D HÆS, B, a, RA: 

当 固 定 S，B，4 之 后 ， 优 化 问题 式 (8) 将 变 为 


; : G) í d j T T 2 
min |X -Zak AB j +>), AB -x AB|, s,, (9) 
st, ATA =I 
d 
4 PLAK”, MRON AS BUE Bk: 
isl 
min |X — PAB]; + 45^. |x AB- x; ABẸ s,, (10 
st,A'A =I 
对 式 (10) 进 行 化 简 可 得 
min r(X"'X — X" PAB - B A' P' X + B'A' P' PAB) 
(41) 


+A,tr(B" AT XLX" AB) st, ATA =I 


v 其 中 uo ean MEE, L-Q-sen'"j—^4- Bribiilp e, 
so 

N Q 是 一 个 对 角 和 矩阵 ， 它 每 一 列 的 元 素 为 4;， > 。 对 4 求 
YT , 
= 导 可 得 
e 2A,XLX' ABB! -2P' XB! + 2P' PABB" (12) 
e 于 对 4 进行 了 正 交 限制 ， 可 以 用 参考 文献 [14] 中 的 方 
CN 法 去 优化 它 。 
TT 2) 固定 4， $, 4, 优化 B 
CÓ 当 固 定 A4，S，& 之 后 ， 优 化 问题 式 (8) 将 变 为 
T" d 2 ý 

=æ min|X — aK"AB| AY |x AB-x/ ABẸ; s; (13) 
人 | i=l = F 

digs 易 得 式 (13) 等 价 于 以 下 式 子 : 
n = min tr(X" X — X" PAB — B' A" P' X + B'A" P" PAB) 
we B (14) 
oN +A,tr(B" A’ XLX” AB) 

© 

cC 对 B 求 导 ， 并 令 其 导数 为 零 ， 则 可 得 
I B - (A! P' PA AA  XLX' A) ATP X (15) 
© DEZA, B, a, 优化 5 

固定 4，B，4 之 后 ， 优 化 问题 式 (8) 将 变 为 
min AM, |x, AB -x/AB[, S, +A, lls; È 
st.,Vi,s,"1=1,5,, =0, (16) 


s; j 2 Oif je N(i), otherwise 0 


本 文 先 计算 出 每 两 个 数据 属性 之 间 的 欧 氏 距离 来 构建 所 
有 属性 的 近邻 。 如 果 第 j 个 属性 不 属于 第 i 个 属性 的 近邻 ， 


则 的 值 为 零 ， 否 则 ， 通 过 式 (19) 求 解 5 的 值 。 
与 此 同时 ,优化 $ 等 价 于 单独 地 优化 每 一 个 5(=1.…4)， 
姑 此 本 文 进一步 把 优化 问题 转换 为 如 下 式 子 : 
patina) [s AB -x AB| s. si) (17) 


IBD Zer”, KZ -A|WAB-x/AB[,. ZEON 


2 


; s; EUN Zi 
s 12s, ds 20 2A, 


在 KKT 条 件 下 ， 能 够 得 到 如 下 : 


(18) 


2 
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sym Cua, +0, (19) 
于 每 个 数据 属性 都 
降序 排列 ， 即 Z, SZ usual , 则 可 知 Shea =0 > Siz >0 i 可 得 


TIE AB, 这 里 对 每 个 (=1.…4) 进行 


FB +750 (20) 
在 条 件 91 =1 的 限制 下 能 够 得 到 ; 
kt AS , l1 4 Cr» 
25465 SPOTS a, E uf Q1) 


ABE A, B, S, tthe 
“le A, B, S 之 后 ， 优 化 问题 式 (8) 变 成 : 


d 2 
min|X -Ya,K^AB| A le], Q2) 
& i=l F 
d z 
F )-|x- K” AB 
g PE el ogg 


F(a) = f (a) + 2 lal, 
注意 到 lal 是 凸 但 非 平滑 的 。 所 以 使 用 近似 梯度 法 优化 
a ， 本 文 可 以 通过 下 面 的 规则 进行 更 新 兴 代 & 。 


@,,, =argminG,, (a, 0,) (24) 


G, (4.4) f (a)« «Vf (a,).a—a, » a-a +A lal Q5) 


(E Est, Va) DUMMY) 2 X MY ， 这 里 
Ir] M $6 REE CER SREP. m 是 一 个 调 优 参 数 ，a, 是 
E t RERE a HHR. 
jet Z2. (25) P fj s HY a BY EAT 58 


zl 
ts = 7, (a) = arg mingla U, += J 26) 


EH: Usa- VEI) s 7080 Ji a, Tr Den, LAN JL 


投影 ， 因 为 lel 具有 可 分 离 形 式 ， 所 以 式 (26) 可 以 写成 如 下 形 
式 : 


ai 


t+l 


ly; 
arg min =|’ U; 


2 Ai 
EMI (27) 


HB: aW an, 分别 是 和 ou 的 第 i 个 元 素 ， 则 根据 式 (27)， 
ou 可 以 得 到 以 下 闭 式 解 : 


i A, ; i : i A, 
4 [up -—xsign(u), if |u, | > = 
a=) n Mi 7, (28) 


0, otherwise. 


为 了 加 速 式 (24) 中 的 近似 梯度 算法 ， 本 文 加 入 了 辅助 变 


B-1 


tel 


V, 


tH 


=a,+ 


(aa — 0) (29) 


中 B= 此 站 + 多- ， 综 上 所 述 ， 得 到 算法 2。 
算法 2. 优化 求解 式 (22) 的 伪 代 码 


HA: tm,» A=, Y 

输出 : a 

1. 初始 化 t=0, wo 为 一 个 随机 的 向 量 
2. do( 


3. while F(a,)>G,,_, (za (a,). a) i 


4. na =Ma 
5. end while 


:201812.00117v1 
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6. 4 n, - yn. 
7. 计算 wa = arg min G, (a, V,) 
BENETUL 

2 


9. 计算 式 (29) } 


10. while (convergence) 


8. 计算 p= 


算法 3 优化 求解 式 (8) 的 伪 代 码 


输入 : 训练 样本 x eR™ ， 控 制 参数 AAA 

输出 : A, B, S, a; 

1. 初始 化 t=0; 

2. 随机 初始 化 矩阵 AO 和 BO, IUE SO HEREN, 
3. do{ 


3.1 通过 式 (9) 计 算 ACD; 

3.2 通过 式 (13) 计 算 Bv; 
3.3 通过 式 (16) 计 算 Ss? ; 
3.4 通过 算法 2 计算 出 a ; 
3.5 更 新 1:=1+1; } 
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算法 是 收敛 的 。 
3 ”实验 结果 和 分 析 
3.1 实验 数据 集 和 对 比 算法 


本 文 在 六 个 数据 集 上 测试 LS_NFS SOLA 
Urban_land 、 


Movements ~ Ecoli 、 


Lung_discrete。 其 中 前 


个 均 来 


Ionosphere 、 
UCIS, 
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性 能 
HE AG» 


分 别 为 
Colon 、 


而 后 三 个 来 自 属 


性 选择 数据 集 02。 数 据 集 的 详情 如 表 1 所 示 。 
dl 数据 集 信 息 统计 
Table 1 Dataset information statistics 

数据 集 样本 数 属性 数 类 数 
Movements 360 90 15 
Ecoli 336 343 8 
Urban_land 168 147 9 
Ionosphere 351 34 2 
Colon 62 2000 2 
Lung_discrete 73 325 7 


本 文 的 实验 均 在 Win7 系统 下 , MATLAB2014a 平台 上 运 


行 测试 。 选 择 五 种 对 比 算法 与 本 文 提 H 


出 的 算法 进行 比较 : 


4. while GR Dic Lstia 根 据 两 个 数据 点 很 近 ， 则 它们 很 可 能 有 很 多 相似 的 关 
2.3 算法 收敛 性 证 明 系 。 通 过 计算 其 拉 普 拉 斯 分 数 来 反映 局 部 结构 的 保持 能 力 。 
——— —X 最 后 达到 好 的 属性 选择 效果 .CSFSt9 是 一 种 凸 半 监 督 多 标签 
HEROS, EPRI Loon, sy 有 一 个 团 式 解 。 — 属性 选择 算法 ， 它 主要 用 于 大 规模 多 媒体 分 析 。 它 把 不 同属 
可 以 得 到 以 下 式 子 ; 性 之 间 的 相互 关系 考虑 在 内 ， 同 时 给 无 标签 数据 初始 化 一 个 
, WEAVE, BUSHUIMEB HORIS IR Mee BE. NetFS2 
X-F aK A®BO| «A7 TAB” -x7 anao st — AME lU JE B TR P BUR. CORI EUR AE SLBA 
AY! "E 到 属性 选择 中 来 减轻 噪声 的 影响 ， 从 而 达到 好 的 效果 。 
LM RUFSD0 也 是 一 个 鲁 棒 的 无 监督 属性 选择 算法 ， 它 把 聚 类 和 
S| -Xexoannn| 127 pamm sant RHEE, JEELMUP T RER ISERU TS 2 
E RSRU2UR HE h- 范 数 来 约束 自我 表示 系数 矩阵 ， 从 而 选择 具 
ue 有 代表 的 特征 ， 并 确保 了 对 离 群 点 的 健壮 性 。 
Yo, Se 去 更 新 AO MBO N, TAES: 分 析 以 上 的 算法 ， 它 们 都 各 有 各 自 的 优点 ， 但 都 没有 考 
虑 属性 之 间 的 非 线性 关系 和 相似 性 。 而 本 文 的 算法 通过 结合 
X-La Kaew] «yz pamm eram shy 局 部 结构 学 习 与 核 方法 来 更 充分 地 挖掘 属性 之 间 的 关系 ， 进 
"nm 而 选择 出 更 好 的 属性 子 集 
ie 32 实验 结果 和 分 析 
SE- EaR ABO E 2», n aOR? x AB sy 本 文 实验 首先 通过 十 折 交 叉 验 证 来 对 数据 集 进行 划分 ， 
sa pef 用 算法 选 好 的 属性 构成 新 的 属性 集 ， 然 后 再 用 SVM 进行 分 
i 3. AUER RERORU RAO HEE. PT HBC ABIL 
上 面 两 式 可 得 ， 在 同一 环境 下 进行 ,最 后 提取 10 次 运行 实验 结果 的 均值 加 减 
均 方 误差 来 评价 各 算法 的 性 能 。 
x Feature] xx gramen aane LA, 3E EE XUL F S 
x " acc = X ul X (31) 
Kp. 天 代表 样本 总 数 ， 开 代表 分 类 正确 的 样本 数 。 同 时 
Je Saee ways em aae 定义 标准 差 来 衡量 本 文 算法 的 稳定 性 ， 如 下 所 示 : 
X sid = fE $ ac, -u (32) 
定理 1 设 { w } 是 由 算法 2 产生 的 序列 , 那么 对 于 wz1， ”其 中 ;NN 表示 实验 次 数 ，ace 代表 第 ;次 实验 的 分 类 准确 率 ， 
式 (30) 成 立 。 4 代表 平均 分 类 准确 率 ，sid 越 小 ， 代 表 算法 越 稳定 。 
aja ep 各 个 算法 在 六 个 数据 集 上 实验 结果 对 比如 图 1 所 示 ， 具 
F(a,)-F(a’)< TENIS E (30) 体 数据 结果 如 表 2 所 示 。 
通过 图 1 中 的 6 个 子 图 所 示 , 能 够 很 清楚 地 看 到 LS_NFS 
根据 参考 文献 [15] 可 知 , 7 是 事先 定义 的 常量 , 工 是 式 (23) HEE 6 个 数据 集 上 的 效果 都 是 很 好 的 。 从 Ionosphere 和 
Sis fn Re act a Colon 两 个 数据 集 上 ， 可 以 看 出 ， 对 于 二 分 类 问题 ，LS_NFS 
d Mi 算法 体现 出 了 很 好 的 性 能 。 与 此 同时 ， 在 余下 的 四 个 多 分 类 
通过 上 面 的 不 等 式 和 定理 1， 能 够 很 容易 地 看 出 本 文 的 。 数据 集 上 ，LS_NEFS 算法 也 有 比较 突出 的 表现 。 由 于 每 个 数 
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据 集 都 有 各 自 的 特点 ， 不 同 的 算法 可 能 适用 不 同 的 数据 集 。 相 比 大 部 分 情况 下 是 较 高 的 ， 最 后 的 分 类 效果 也 是 最 好 的 。 
所 以 不 能 保证 每 次 的 结果 都 是 最 好 的 ， 但 与 其 他 的 对 比 算法 


出 


T 


5 5 es 5e 
E = 70 = 
起 起 CSFS et 
797 NetFS 1 
“a RR | 
—RUFS 
30| —— LS-NFS |. " 50 z ——LS-NFS 30 i " 
z 4 6 8 10 2 4 6 8 0 2 4 6 8 10 
实验 次 数 实验 次 数 实验 次 数 
(a) 数据 集 Movements (b) 数据 集 Ionosphere 
90 
80, 
~ 79 e 
BE 60 5 
= € 
起 so. 起 CSFS 
a“ 9 NetFS 
i " ——RSR 
"=e RUFS 
aol : : 20. : ——LS-NFS 
2 4 6 8 10 4 6 08  —T0 
实验 次 数 实验 次 数 
(d) 数据 集 Colon (e) 数据 集 Urban_land (f 数据 集 Lung_discrete 
图 1 实验 结果 图 
Fig. 1 Experimental results 
2 准确 率 〈 均 值 + 均 方差 ) 统计 结 
Table 2 Accuracy (mean + standard deviation) statistical results 
数据 集 LS CSFS NetFS RUFS RSR LS_NFS 
Movements 82.50+0.75 82.31x1.71 60.61+8.66 73.75£7.99 77.7841.56 88.81+0.86 
Ecoli 42.56+0.03 81.66+0.61 84.47x1.78 83.29+1.84 85.81+0.82 86.19+0.69 
Urban_land 55.61+1.69 59.86+1.90 56.96+0.88 53.75x1.73 60.97+42.53 63.7741.79 
Ionosphere 86.69+0.39 87.92+0.93 87.70+1.61 82.52+2.44 74.94+0.02 94.90+0.33 
Colon 79.24*1.83 82.40+2.02 64.38+40.29 69.7943.56 72.2942.31 84.14+1.50 
Lung_discrete 85.59+41.34 76.11+2.55 72.45+7.48 82.20x1.57 54.73x2.67 87.2041.32 
平均 72.03+1.01 78.38+1.62 71.1043.45 74.2243.19 71.09+41.65 84.17+1.08 


通过 表 2 可 以 看 出 LS_NFS 算法 与 其 他 五 种 对 比 算法 的 论 改 进 算法 。 
体 情况 ， 与 LS 算法 比较 平均 提高 了 12.14%; EK CSFS 算 


法 平均 提高 了 5.79%。 此 外 , 对比 NetFS、RUFS、RSR 算法 ， 参考 文献 : 
准确 率 分 别提 高 了 13.07%、9.95%、13.08%。 从 标准 差 上 来 ” [1] Zhu Xiaofeng, Suk H I, Shen Dinggang. Matrix-similarity based loss 
看 ，LS_NFS 算法 在 六 个 数据 集 上 的 平均 标准 差 虽 然 不 是 最 function and feature selection for Alzheimer's disease diagnosis [C]// 
小 的 , 但 仅 次 于 LS 算法 , 只 比 LS 算法 的 平均 标准 差 高 0.07。 Proc of IEEE Conference on Computer Vision and Pattern Recognition. 
这 一 定 程 度 上 也 说 明 LS. NFS 算法 有 较 好 的 稳定 性 ,LS_NFS 2014: 3089-3096. 
算法 取得 较 好 的 效果 ， 主 要 与 以 下 两 点 有 关 : 考虑 了 数据 属 [2] Zhu Xiaofeng, Huang Zi, Shen Hengtao, et al. Dimensionality reduction 
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虽然 不 同类 型 的 数据 集 的 分 布 不 同 , 且 有 一 些 干扰 因素 。 2012, 45(8): 3003-3016. 
但 从 实验 结果 来 看 ， 本 文 提 出 的 LS_NFS 具有 最 好 的 属性 i [3] Zhu Xiaofeng, Zhang Shichao, Jin Zhi, et al. Missing value estimation 
择 效 果 。 相 比 其 他 对 比 算法 ， 分 类 准确 率 也 是 最 高 的 ， 同 时 for mixed attribute dataSets [J]. IEEE Transactions on Knowledge and 
也 说 明 LS_NFS 算法 选 出 了 最 有 代表 性 的 属性 。 Data Engineering, 2011, 23(1): 110-121. 
、 [4] Zhu Xiaofeng, Li Xuelong, Zhang Shichao. Block-row sparse 
4 ”结束 语 » QM Pn 
multi-view multi-label learning for image classification. [J]. IEEE Trans 
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